大模型常用评测基准汇总
大模型常用评测基准汇总基于评测维度，考虑到各评测集关注的评测维度，可以将其划分为通用评测基准和具体评测基准。
来自主题: AI资讯
10543 点击 2024-07-23 19:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
基于评测维度，考虑到各评测集关注的评测维度，可以将其划分为通用评测基准和具体评测基准。
![使用视觉语言模型进行 PDF 检索 [译]](https://blog.vespa.ai/assets/2024-07-15-retrieval-with-vision-language-models-colpali/GRuDx-xXAAAFqBR.jpeg)
近年来，随着大语言模型 (LLM) 的发展，构建检索增强生成 (RAG) 解决方案成为了一个热门话题。RAG 将 LLM 的强大功能与检索模型结合，应用于专有知识数据库。然而，对于开发人员来说，一个主要挑战是将各种文档格式（如 PDF、HTML 等）转换为可供文本模型处理的格式。
在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。
具身智能是过去一年中和 LLM 一样受到市场高度关注的领域，通用机器人领域什么时候会出现「iPhone 时刻」？这是所有人都关注的问题。拾象团队在过去一年中也深度追踪通用机器人和机器人 foundation model 的进展。本篇文章是我们对机器人领域研究的开源。
LLM 很强大，但也存在一些明显缺点，比如幻觉问题、可解释性差、抓不住问题重点、隐私和安全问题等。检索增强式生成（RAG）可大幅提升 LLM 的生成质量和结果有用性。
人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。
只要仍使用英语训练 LLM 模型，美国就还有优势。
Meta搞了个很牛的LLM Compiler，帮助程序员更高效地写代码。
谷歌作为全球领先的科技公司，在 AI 领域拥有深厚的积累和卓越的创新能力，在谷歌眼里，生成式 AI 带来了哪些机会？Google AI 是如何在谷歌产品中落地的？Google Cloud 提供了一系列工具和平台，如何帮助开发者构建和部署自己的专属 LLM 和 Agent？负责任的 AI 为企业带来哪些价值？
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。